Shirley kết hôn với nam diễn viên John Payne vào ngày 22 tháng 8 năm 1937, tại Montecito, California.[5] Họ có một con gái, cựu nữ diễn viên Julie Payne, nhưng sau đó đã ly dị vào năm 1943.[6]

Người chồng thứ hai của cô là nhà sản xuất phim và biên kịch Adrian Scott. Khi anh bị ghi vào danh sách đen và quyết định chuyển cả gia đình đến châu Âu, cô đã viết một bức thư "gửi John" cho anh, nói rằng cô thà ở lại và ly dị với anh, điều mà cô đã làm vào năm 1949.[7]

Người chồng thứ ba của cô là Charles Lederer, cháu trai của Marion Davies. Họ có một con trai - Daniel Lederer trước khi ông qua đời năm 1976.[6]

Shirley có những mối quan hệ ngắn ngủi với ngôi sao phương Tây trẻ hơn Rory Calhoun và với ngôi sao điện ảnh người Pháp Jean-Pierre Aumont.

Shirley qua đời ngày 4 tháng 7 năm 1993 do bệnh ung thư phổi ở Los Angeles, hưởng thọ 75 tuổi và được hỏa táng.[6] Vì những đóng góp của mình cho ngành công nghiệp điện ảnh, cô đã có một ngôi sao trên Đại lộ Danh vọng Hollywood tại 7020 Hollywood Blvd.